package com.gmall.realtime.dws.app;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.gmall.realtime.common.base.BaseApp;
import com.gmall.realtime.common.bean.TradeSkuOrderBean;
import com.gmall.realtime.common.constant.Constant;
import com.gmall.realtime.common.util.DateFormatUtil;
import com.gmall.realtime.dws.function.MapDimFunction;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.common.state.StateTtlConfig;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;

import java.math.BigDecimal;
import java.time.Duration;

public class DwsTradeSkuOrderWindowSyncCache extends BaseApp {
    public static void main(String[] args) {
        new DwsTradeSkuOrderWindowSyncCache().start(
                60009,
                1,
                "dws_trade_sku_order_window",
                Constant.TOPIC_DWD_TRADE_ORDER_DETAIL
        );

    }

    @Override
    public void handle(StreamExecutionEnvironment env, DataStreamSource<String> stream) {
        // 1. 解析成 pojo 类型
        SingleOutputStreamOperator<TradeSkuOrderBean> beanStream = parseToPojo(stream);

        // 2. 按照 order_detail_id 去重
        beanStream = distinctByOrderId(beanStream);

        // 3. 按照 sku_id 分组, 开窗, 聚合
        SingleOutputStreamOperator<TradeSkuOrderBean> beanStreamWithoutDims = windowAndAgg(beanStream);
//        beanStreamWithoutDims.print();
        // 4. join 维度
        joinDim(beanStreamWithoutDims);

    }

    private void joinDim(SingleOutputStreamOperator<TradeSkuOrderBean> stream) {
        /*
            每来一条数据, 都需要去维度层(hbase)中查找对应的维度, 补充到 bean 中


            6 张维度表:
                dim_sku_info  sku_id
                    sku_name spu_id tm_id c3_id
                dim_spu_info spu_id
                    spu_name
                dim_base_trademark tm_id
                    tm_name
                dim_base_category3  c3_id
                    c3_name c2_id
                dim_base_category2 c2_id
                    c2_name c1_id
                dim_base_category3 c1_id
                    c1_name

         */
        // 补充 sku 信息
        /**
         * 关联维度信息，依次补充sku、spu、品牌、三级分类、二级分类、一级分类的维度信息
         */
        SingleOutputStreamOperator<TradeSkuOrderBean> skuSteam = stream
                // 第一步：关联sku维度信息
                .map(new MapDimFunction<TradeSkuOrderBean>() {
                    @Override
                    public String getTableName() {
                        return "dim_sku_info";  // 关联sku维度表
                    }

                    @Override
                    public String getRowKey(TradeSkuOrderBean bean) {
                        return bean.getSkuId();  // 使用sku_id作为rowKey查询
                    }

                    @Override
                    public void addDims(TradeSkuOrderBean bean,
                                        JSONObject dim) {
                        // 补充sku相关维度字段
                        bean.setSkuName(dim.getString("sku_name"));
                        bean.setSpuId(dim.getString("spu_id"));  // 获取spu_id用于下一步关联
                        bean.setTrademarkId(dim.getString("tm_id"));  // 获取品牌id用于后续关联
                        bean.setCategory3Id(dim.getString("category3_id"));  // 获取三级分类id用于后续关联
                    }
                });
// 第二步：关联spu维度信息
        SingleOutputStreamOperator<TradeSkuOrderBean> spuStream = skuSteam.map(new MapDimFunction<TradeSkuOrderBean>() {
            @Override
            public String getRowKey(TradeSkuOrderBean bean) {
                return bean.getSpuId();  // 使用spu_id作为rowKey查询
            }

            @Override
            public String getTableName() {
                return "dim_spu_info";  // 关联spu维度表
            }

            @Override
            public void addDims(TradeSkuOrderBean bean, JSONObject dim) {
                bean.setSpuName(dim.getString("spu_name"));  // 补充spu名称
            }
        });

// 第三步：关联品牌维度信息
        SingleOutputStreamOperator<TradeSkuOrderBean> tmStream = spuStream
                .map(new MapDimFunction<TradeSkuOrderBean>() {
                    @Override
                    public String getRowKey(TradeSkuOrderBean bean) {
                        return bean.getTrademarkId();  // 使用品牌id作为rowKey查询
                    }

                    @Override
                    public String getTableName() {
                        return "dim_base_trademark";  // 关联品牌维度表
                    }

                    @Override
                    public void addDims(TradeSkuOrderBean bean,
                                        JSONObject dim) {
                        bean.setTrademarkName(dim.getString("tm_name"));  // 补充品牌名称
                    }
                });

// 第四步：关联三级分类维度信息
        SingleOutputStreamOperator<TradeSkuOrderBean> c3Stream = tmStream.map(new MapDimFunction<TradeSkuOrderBean>() {
            @Override
            public String getRowKey(TradeSkuOrderBean bean) {
                return bean.getCategory3Id();  // 使用三级分类id作为rowKey查询
            }

            @Override
            public String getTableName() {
                return "dim_base_category3";  // 关联三级分类维度表
            }

            @Override
            public void addDims(TradeSkuOrderBean bean, JSONObject dim) {
                bean.setCategory3Name(dim.getString("name"));  // 补充三级分类名称
                bean.setCategory2Id(dim.getString("category2_id"));  // 获取二级分类id用于下一步关联
            }
        });

// 第五步：关联二级分类维度信息
        SingleOutputStreamOperator<TradeSkuOrderBean> c2Stream = c3Stream.map(new MapDimFunction<TradeSkuOrderBean>() {
            @Override
            public String getRowKey(TradeSkuOrderBean bean) {
                return bean.getCategory2Id();  // 使用二级分类id作为rowKey查询
            }

            @Override
            public String getTableName() {
                return "dim_base_category2";  // 关联二级分类维度表
            }

            @Override
            public void addDims(TradeSkuOrderBean bean, JSONObject dim) {
                bean.setCategory2Name(dim.getString("name"));  // 补充二级分类名称
                bean.setCategory1Id(dim.getString("category1_id"));  // 获取一级分类id用于下一步关联
            }
        });

// 第六步：关联一级分类维度信息
        SingleOutputStreamOperator<TradeSkuOrderBean> c1Stream = c2Stream.map(new MapDimFunction<TradeSkuOrderBean>() {
            @Override
            public String getRowKey(TradeSkuOrderBean bean) {
                return bean.getCategory1Id();  // 使用一级分类id作为rowKey查询
            }

            @Override
            public String getTableName() {
                return "dim_base_category1";  // 关联一级分类维度表
            }

            @Override
            public void addDims(TradeSkuOrderBean bean, JSONObject dim) {
                bean.setCategory1Name(dim.getString("name"));  // 补充一级分类名称
            }
        });

// 打印最终结果，包含所有补充的维度信息
        c1Stream.print();


    }

    /**
     * 对商品SKU订单数据进行窗口聚合计算
     * 1. 设置水位线和事件时间
     * 2. 按照SKU ID分组
     * 3. 开5秒的滚动事件时间窗口
     * 4. 在窗口内进行金额累加聚合
     * 5. 处理窗口结果并补充窗口时间信息
     *
     * @param beanStream 包含商品SKU订单数据的流
     * @return 聚合后的商品SKU订单数据流，包含窗口时间信息
     */
    private SingleOutputStreamOperator<TradeSkuOrderBean> windowAndAgg(
            SingleOutputStreamOperator<TradeSkuOrderBean> beanStream) {
        return beanStream
                // 设置水位线策略
                .assignTimestampsAndWatermarks(
                        WatermarkStrategy
                                // 允许3秒的乱序时间
                                .<TradeSkuOrderBean>forBoundedOutOfOrderness(Duration.ofSeconds(3))
                                // 从数据中提取事件时间戳
                                .withTimestampAssigner((bean, ts) -> bean.getTs())
                                // 设置空闲超时时间为120秒
                                .withIdleness(Duration.ofSeconds(120))
                )
                // 按照SKU ID进行分组
                .keyBy(TradeSkuOrderBean::getSkuId)
                // 开5秒的滚动事件时间窗口
                .window(TumblingEventTimeWindows.of(org.apache.flink.streaming.api.windowing.time.Time.seconds(5)))
                // 窗口聚合操作
                .reduce(
                        // Reduce函数：对相同SKU的订单金额进行累加
                        new ReduceFunction<TradeSkuOrderBean>() {
                            @Override
                            public TradeSkuOrderBean reduce(TradeSkuOrderBean value1,
                                                            TradeSkuOrderBean value2) throws Exception {
                                // 累加原始金额
                                value1.setOriginalAmount(value1.getOriginalAmount().add(value2.getOriginalAmount()));
                                // 累加订单金额
                                value1.setOrderAmount(value1.getOrderAmount().add(value2.getOrderAmount()));
                                // 累加活动减免金额
                                value1.setActivityReduceAmount(value1.getActivityReduceAmount().add(value2.getActivityReduceAmount()));
                                // 累加优惠券减免金额
                                value1.setCouponReduceAmount(value1.getCouponReduceAmount().add(value2.getCouponReduceAmount()));

                                return value1;
                            }
                        },
                        // ProcessWindowFunction：处理窗口结果并补充窗口时间信息
                        new ProcessWindowFunction<TradeSkuOrderBean, TradeSkuOrderBean, String, TimeWindow>() {
                            @Override
                            public void process(String skuId,
                                                Context ctx,
                                                Iterable<TradeSkuOrderBean> elements,
                                                Collector<TradeSkuOrderBean> out) throws Exception {
                                // 获取聚合后的结果
                                TradeSkuOrderBean bean = elements.iterator().next();
                                // 设置窗口开始时间
                                bean.setStt(DateFormatUtil.tsToDateTime(ctx.window().getStart()));
                                // 设置窗口结束时间
                                bean.setEdt(DateFormatUtil.tsToDateTime(ctx.window().getEnd()));
                                // 设置当前分区日期
                                bean.setCurDate(DateFormatUtil.tsToDateForPartition(ctx.window().getEnd()));

                                out.collect(bean);
                            }
                        }
                );
    }


    private SingleOutputStreamOperator<TradeSkuOrderBean> distinctByOrderId(
            SingleOutputStreamOperator<TradeSkuOrderBean> beanStream) {
        /*
        去重逻辑: 按照 order_detail_id 分组
            思路: 1
                使用 session 窗口, 当窗口关闭的时候, 同一个详情的多条数据,一定都来齐了.找到最完整的那个.
                    需要 dwd 层的数据添加一个字段,表示这条数据的生成时间, 时间大的那个就是最完整的
                        详情id  sku_id  金额   活动      优惠券  系统时间
                          1      100    100  null      null     1
                          null
                          1     100   100   有值      null       2
                          1     100   100   有值      有值        3

                   优点: 简单
                   缺点: 实效性低
                        窗口内的最后一条数据到了之后,经过一个 gap(5s)才能计算出结果

             思路: 2
                定时器
                    当第一条数据到的时候, 注册一个 5s 后触发的定时器, 把这条存入到状态中
                    每来一条数据, 就和状态中的比较时间, 时间大的保存到状态中.
                    当定时器触发的时候, 则状态中存储的一定是时间最大的那个

                    优点: 简单
                    确定: 实效性低
                        窗口内的第一条数据到了之后,5s才能计算出结果

             思路: 3  抵消
                            详情id  sku_id  左表金额  右表1活动    右表2优惠券
                   第一条     1      100    100       null      null       直接输出
                             1      100    -100      null      null       直接输出
                   第二条     1      100    100       200      null        直接输出
                             1      100     -100      -200      null      直接输出
                   第三条     1      100    100       200      300         直接输出
                优点: 实效性高
                缺点: 写放大

                    优化:
                            详情id  sku_id    左表金额  右表1活动    右表2优惠券
                   第一条     1      100      100       null      null       直接输出
                   第二条     1      100     100+(-100)  200      null        直接输出
                   第三条     1      100    100+(-100) 200+(-200)      300    直接输出
                 优点: 实效性高

               思路 4:
                    如果需要聚合的值都在左表, 不需要等最后最完整的数据.

                    只需要输出第一条就行了.

                    优点: 实效性最高
                    缺点: 特殊情况. 聚和的值都在左表


         */
        /**
         * 按照订单详情ID进行去重处理
         * 使用状态管理来跟踪每个订单详情ID的最新记录，并通过差值计算实现去重
         *
         * @param beanStream 包含商品SKU订单数据的流
         * @return 去重后的商品SKU订单数据流
         */
        return beanStream
                // 按照订单详情ID进行分组
                .keyBy(TradeSkuOrderBean::getOrderDetailId)
                // 使用KeyedProcessFunction处理每个分组的数据
                .process(new KeyedProcessFunction<String, TradeSkuOrderBean, TradeSkuOrderBean>() {

                    // 状态变量，用于存储每个订单详情ID的上一条记录
                    private ValueState<TradeSkuOrderBean> lastBeanState;

                    /**
                     * 初始化方法，设置状态描述符和TTL配置
                     */
                    @Override
                    public void open(Configuration parameters) throws Exception {
                        // 创建状态描述符，用于存储TradeSkuOrderBean类型的状态
                        ValueStateDescriptor<TradeSkuOrderBean> des =
                                new ValueStateDescriptor<>("lastBean", TradeSkuOrderBean.class);

                        // 配置状态的TTL(Time To Live)，60秒后自动清除状态
                        StateTtlConfig conf = new StateTtlConfig.Builder(Time.seconds(60))
                                .useProcessingTime()  // 使用处理时间
                                .updateTtlOnCreateAndWrite()  // 在创建和写入时更新TTL
                                .neverReturnExpired()  // 不返回过期数据
                                .build();

                        // 为状态描述符启用TTL配置
                        des.enableTimeToLive(conf);

                        // 获取状态变量
                        lastBeanState = getRuntimeContext().getState(des);
                    }

                    /**
                     * 处理每个元素的核心逻辑
                     * 1. 如果是该订单详情ID的第一条记录，直接输出
                     * 2. 如果不是第一条记录，计算当前记录与上条记录的差值并输出
                     * 3. 更新状态为当前记录
                     */
                    @Override
                    public void processElement(TradeSkuOrderBean currentBean,
                                               Context ctx,
                                               Collector<TradeSkuOrderBean> out) throws Exception {
                        // 从状态中获取该订单详情ID的上一条记录
                        TradeSkuOrderBean lastBean = lastBeanState.value();

                        if (lastBean == null) {
                            // 如果是第一条记录，直接输出
                            out.collect(currentBean);
                        } else {
                            // 计算当前记录与上条记录的差值并输出
                            // 通过减法操作实现"抵消"效果，确保最终结果正确
                            lastBean.setOrderAmount(currentBean.getOrderAmount().subtract(lastBean.getOrderAmount()));
                            lastBean.setOriginalAmount(currentBean.getOriginalAmount().subtract(lastBean.getOriginalAmount()));
                            lastBean.setActivityReduceAmount(currentBean.getActivityReduceAmount().subtract(lastBean.getActivityReduceAmount()));
                            lastBean.setCouponReduceAmount(currentBean.getCouponReduceAmount().subtract(lastBean.getCouponReduceAmount()));

                            out.collect(lastBean);
                        }

                        // 更新状态为当前记录
                        lastBeanState.update(currentBean);
                    }
                });


    }

    /**
     * 将输入的JSON字符串流解析为TradeSkuOrderBean对象流
     * 1. 使用FastJSON解析JSON字符串
     * 2. 构建TradeSkuOrderBean对象并设置各字段值
     * 3. 处理可能为null的金额字段，设置默认值0.0
     * 4. 将时间戳从秒转换为毫秒
     *
     * @param stream 包含JSON格式订单详情的输入数据流
     * @return 包含TradeSkuOrderBean对象的输出数据流
     */
    private SingleOutputStreamOperator<TradeSkuOrderBean> parseToPojo(DataStreamSource<String> stream) {
        return stream
                .map(new MapFunction<String, TradeSkuOrderBean>() {
                    @Override
                    public TradeSkuOrderBean map(String value) throws Exception {
                        // 解析JSON字符串为JSONObject
                        JSONObject obj = JSON.parseObject(value);

                        // 构建TradeSkuOrderBean对象并设置各字段值
                        return TradeSkuOrderBean.builder()
                                // 设置SKU ID
                                .skuId(obj.getString("sku_id"))
                                // 设置订单详情ID
                                .orderDetailId(obj.getString("id"))
                                // 设置原始金额
                                .originalAmount(obj.getBigDecimal("split_original_amount"))
                                // 设置订单金额
                                .orderAmount(obj.getBigDecimal("split_total_amount"))
                                // 设置活动减免金额，处理null值情况
                                .activityReduceAmount(obj.getBigDecimal("split_activity_amount") == null ? new BigDecimal("0.0") : obj.getBigDecimal("split_activity_amount"))
                                // 设置优惠券减免金额，处理null值情况
                                .couponReduceAmount(obj.getBigDecimal("split_coupon_amount") == null ? new BigDecimal("0.0") : obj.getBigDecimal("split_coupon_amount"))
                                // 设置时间戳（秒转毫秒）
                                .ts(obj.getLong("ts") * 1000)
                                .build();
                    }
                });
    }

}